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面向 虚拟 维修 训练 的 自 抓 取 虚 拟 手 交 互 行为 构建 _ 


董 健康 ， 王 启 峰 ， 耿 宏 


(中 国民 航 大 学 ,电子 信息 与 自动 化 学 院 ， 天 津 300300) 


摘 要 : 针对 当前 维护 训练 模拟 器 (MTD) 不 能 很 好 地 向 受训 者 展示 飞机 维修 过 程 中 的 具体 维修 动作 的 问题 ， 构 建 一 
种 自 抓 取 的 虚拟 手 与 相应 的 交互 行为 ， 以 提高 机 务 培训 质量 。 通 过 分 析 维 修 的 基本 动作 要 素 ， 定 义 与 构建 基于 蒙 皮 明 
骼 的 虚拟 手动 作 库 ; 在 场景 漫游 阶段 ， 实 时 获取 视角 位 置 来 驱动 虚拟 手 运 动 ， 减 轻 场 景 漫游 下 的 虚拟 手 控制 负荷 ; 在 
具体 维修 操作 阶段 ， 利 用 所 提 的 交互 行为 算法 ， 将 虚拟 手 的 位 置 自 调节 与 骨骼 动画 osgCal 相 结 合 ， 通 过 调 取 动作 库 中 
的 相应 动作 ， 完 成 具体 的 维修 任务 。 实 验 结果 表明 ， 所 提出 的 方法 能 较 好 地 展现 具体 的 维修 操作 ， 对 于 虚拟 维修 训练 
具有 良好 可 用 性 。 
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Self-fetching virtual hand interaction behavior building with virtual maintenance training 


Dong Jiankang, Wang Qifeng, Geng Hong 


(College of Electronic Information & Automation, Civil Aviation University of China, Tianjin 300300, China) 


LCS Abstract: Focusing on the problem that the current maintenance training device (MTD) can’t perfectly reflects the Specific 


maintenance actions during the aircraft maintenance for trainees, this paper established a self-fetching virtual hand and the 
interaction behaviors to improve the training quality. By analyzing the basic elements of maintenance operations to define and 


built the virtual hand operation library that based on Skinned Mesh. In the scene roaming stage, in order to reduce the control 


和 的- load, it driven the virtual hand by the viewpoint position which acquired in real time. In the Specific maintenance operation stage, 


= _ it used the interactive behavior algorithm to combine the position self-adjustment of the virtual hand with the skeleton animation 


osgCal, by calling the relevant actions in the action library to complete the Specific maintenance tasks. The experimental results 
show that the proposed method can reflect the specific maintenance operations and have a good usability for virtual maintenance 
training. 
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维修 训练 系统 除了 能 使 受训 者 熟悉 维修 流程 外 ， 还 能 使 受训 者 
认 知 具体 的 维修 操作 动作 。 当 前 基于 虚拟 手 的 交互 模式 有 基于 

MTD 通过 模拟 真实 飞机 的 操作 效应 和 内 部 逻辑 ,采用 虚拟 。” ”外 部 设备 驱动 的 虚拟 手 与 自 抓 取 虚 拟 手 两 种 。 基 于 外 部 设备 对 
驾驶 舱 (VC)、3D 虚拟 飞机 CVA) 和 动态 原理 图 三 种 形式 来 提 ”” 动 的 虚拟 手 如 文献 [1] 中 的 数据 手套 模式 和 文献 [2] 中 的 Kinect 
高 受训 者 的 理论 和 实践 水 平 。 在 VA 中 ， 受 训 者 可 以 利用 键盘 。 模式 ， 其 主要 利用 外 部 设备 采集 人 手 姿态 信息 ， 然 后 将 人 手动 
和 鼠标 进行 机 外 和 机 内 的 漫游 ， 了 解 飞机 内 部 结构 和 各 系统 部 。” 作 实时 映射 到 虚拟 维修 环境 中 的 虚拟 手 ， 驱 动 其 完成 相应 的 维 
件 位 置 ,排除 教员 设置 的 各 种 故障 ,熟悉 飞机 维修 操作 的 流程 ， 修 操作 。 这 种 模式 能 使 受训 者 很 好 地 掌握 实际 维修 时 的 操作 动 
但 是 其 对 具体 的 维修 操作 动作 却 缺少 展示 ， 而 让 受训 者 能 在 ，” 作 ， 但 是 其 成 本 高 ， 需 要 配置 虚拟 现实 头盔 或 者 立体 眼镜 ， 易 
MTD 中 就 能 认 知 具体 的 维修 操作 对 于 提高 受训 人 员 的 实践 技 ”产生 疲劳 ， 操 作 负荷 繁重 69， 不 适用 于 满足 多 人 培训 的 二 维 
能 有 着 实际 需求 。 MTD。 对 于 自 抓 取 虚拟 手 ， 文 献 [5] 中 作者 基于 Kamper 等 人 [9 

虚拟 手 作为 虚拟 现实 技术 的 重要 组 成 部 分 ,其 在 虚拟 装配 、 ”对 抓 取 过 程 中 指 尖 轨迹 的 研究 结论 ， 提 出 了 基于 轨迹 线 的 自 抓 
虚拟 维修 等 领域 正 扮演 着 越 来 越 重 要 的 作用 由， 具有 虚拟 手 的 。 ” 取 虚 拟 手 ， 但 其 需要 提前 利用 外 部 设备 采集 真实 人 手 抓 取 物体 
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录用 稿 
的 指 尖 数据 ， 才 能 完成 抓 取 轨迹 线 的 绘制 ， 不 利于 维修 动作 的 


扩展 和 细 化 。 文 献 [7] 中 作者 通过 3D 鼠标 驱动 虚拟 手 ， 构 造 了 
一 种 虚拟 手 的 交互 行为 ， 但 是 其 在 物体 周围 设置 包围 盒 感知 区 
的 交互 方式 不 适合 复杂 且 需 要 精细 操作 的 场景 ， 易 造成 交互 命 
中 率 低 的 问题 ， 控 制 过 程 较为 繁琐 。 

针对 上 述 问题 ， 结 合 在 VA 中 需要 大 场景 漫游 、 多 场景 切 
换 、 设 备 复杂 繁多 、 且 不 同 设备 之 间 间 隔 空间 有 限 、 对 于 线路 
排 故 需要 精确 操作 等 特点 ， 文 中 采用 基于 蒙 皮 骨骼 的 虚拟 手 建 
模 方 法 ， 构 建 一 种 新 的 虚拟 手 交 互 方式 ， 依 旧 采 取 鼠 标 作为 物 
体 拾取 工具 ， 实 现 了 在 不 增加 操作 负荷 和 外 围 设备 的 同时 ， 向 
受训 者 展现 了 具体 的 维修 操作 动作 。 


1 ” 自 抓 取 虚 拟 手 的 交互 流程 


1 为 自 抓 取 虚拟 手 的 交互 流程 。 在 场景 漫游 阶段 ,用户 
通过 鼠标 和 键盘 控制 漫游 ， 接 近 需 要 交互 的 虚拟 物体 ， 此 时 虚 
拟 手 会 实时 获取 视角 矩阵， 根据 视角 和 矩阵 调整 自身 位 置 进行 视 
角 的 跟随 ， 实 现 漫 游 阶段 的 虚拟 手 位 置 自 适应 调节 ， 在 交互 阶 
段 ， 当 竺 交互 虚 拟 物 体 处 于 视角 合适 范围 内 时 ， 用 


到 


站 通过 鼠标 


a) 释放 Gs。。 五 指 伸 直 张 开 ， 用 于 释放 物体 ， 工 
。 四 指 并 拢 弯曲 ， 


b) 普通 握 CO 


、 工 具 等 。 


c) 钾 接 握 C， 


握 ，| 


紧 握 ， 用 于 


e) 捏 G,。 食 指 与 拇指 


等 小 物件 。 


人 抓 G 。 五 指 张 开 弯 


牛 、 物 件 。 


董 健康 ， 等 : 


Ch 


inaXiv 合 作 其 
面向 虚拟 维修 训练 的 自 抓 取 虚 拟 手 交互 行为 构 


Sr 


j 于 握手 柄 、 扳 手 、 


下 
二 
等 


。 拇 指 与 食指 张 开 呈 握 状 ， 


外 弯曲 紧 


SN 


于 锦 接 不 同 物体 、 线 、 管 等 。 
d) 按压 G;。 食指 


按压 跳 必 


g) 拧 Cs 。 拇 指 稍 张 开 


F 关 、 按 钮 等 。 


申 直 ， 大 拇指 靠 ; 


申 直 呈 夹 取 必 


食指 弯 


， 其 余 


指 这 


AR ， 用 于 拿 螺 钉 、 螺 帽 


留 


定 间 隔 机 


抓 稳 手 势 上 〈 


在 基础 手势 的 基础 上 继续 根据 


用 于 拧 动 开关 、 旋 钮 等 。 


于 抓 取 圆 


体 的 


保护 堵 盖 等 较 大 零 


其 余 食 指 紧 握 ， 拇 指 与 食指 之 间 


E 修 对 象 定义 最 终 的 
其 中 i=1,2,.….,6; j=1,2,3,...n” ,i 为 基础 手势 编号 ， 


j 为 对 应 基础 手势 i 的 最 终 抓 稳 手势 编号 )。 每 个 基础 手势 与 其 


对 应 的 一 系列 最 终 抓 稳 手 势 手 型 是 一 样 的 ， 只 是 在 抓 取 深 度 上 


有 区 别 ， 基础 手势 Gase 和 


命中 虚拟 物体 ， 并 发 出 事件 命令 ， 此 时 虚拟 物体 的 位 置 姿 态 信 
息 和 其 抓 取 动 作 手 势 属性 会 传递 给 虚拟 手 ， 虚 拟 手 会 进行 自身 


位 置 的 调整 与 调 取 骨 骼 动画 库 ， 实 现 其 在 不 同 交互 状态 机 之 间 
进行 转换 ， 完 成 相应 的 抓 取 和 释放 等 任务 。 而 用 户 可 根据 实时 
视觉 反馈 信息 调整 虚拟 手 的 交互 状态 ， 进 行 返回 或 继续 下 一 步 
任务 。 通 过 以 上 工作 流程 ， 可 以 实现 在 不 增加 操作 负荷 和 减少 
交互 命中 率 的 情况 下 ， 向 受训 者 展示 出 维修 过 程 中 的 具体 操作 
动作 。 


3DMAX 


维修 操作 


图 1 虚拟 手 交 互 流程 


2 ”虚拟 手动 作 库 建 模 


手势 动作 库 的 定义 

动作 手势 库 是 实现 自 抓 取 虚拟 手 的 基础 ， 手 势 库 的 定义 与 
具体 的 维修 对 象 与 维修 任务 有 关 ， 定 义 得 过 少 不 能 有 效 真 实地 
完成 操作 任务 ;定义 过 多 则 会 产生 元 余 ， 造 成 系统 资源 浪费 。 
根据 吉尔 布雷 斯 动 素 分 类 ， 以 实验 室 自主 研发 的 空 客 A320 飞 
机 维修 综合 训练 器 (HDMTD-2) 为 例 ， 其 3D 外 场 维修 仿真 已 
开发 的 维修 训练 项 目 中 涉及 到 的 基础 操作 手势 可 主要 分 为 如 图 
2 所 示 七 种 。 其 相关 定义 如 下 。 

基础 手势 : 


2.1 


AS 


2.2 ”骨骼 动画 手势 动作 库 构 建 
逼真 的 虚拟 手 在 增加 训练 效果 方 


同 的 维 


虚拟 手 的 几何 逼真 性 以 及 手势 动作 库 的 易 实 现 色 


,采用 3DMAX 进行 虚拟 手 建 模 与 构建 


三 个 方面 考虑 


起 构成 手势 动作 库 与 动画 关键 帧 。 


图 2 定义 基础 手 


G (i=1,2,.…,6 ) 与 最 终 抓 稳 手势 Gy 


kt 有 更 好 的 表现 加， 不 


区 任务 所 要 求 的 手势 动作 不 同 ， 


采用 图 


3 所 示 的 动作 库 构 建 流程 。 


虚拟 手 网 格 模型 


v 
创建 骨骼 、 蒙 皮 


vy 
蒙 皮 骨骼 绑 定 


骨骼 动画 制作 


即 


使 是 针对 同一 维修 任 
务 ， 也 有 可 能 存在 手势 动作 库 需 要 扩展 或 更 新 的 现象 。 因 此 从 


骨骼 文件 
sf) 


图 3 动作 库 构 于 


流程 


E、 动 态 扩 展 性 
骨骼 动画 ， 
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录用 稿 


动作 库 构 建 流程 主要 分 为 三 维 骨 骼 动画 构 
换 与 导出 过 程 。 首 先 在 3DMAX 中 进行 虚拟 手 
与 平滑 操作 , 并 为 其 进行 纹理 贴图 , 提高 虚拟 手 


建 和 模型 数据 转 
网 格 模型 的 绘 币 


de 


的 几何 真实 感 ; 


然后 为 虚拟 手 创 建 骨骼 和 添加 蒙 皮 ， 并 对 两 者 进行 绑 定 ， 调 整 


画 的 制作 ， 最 后 利用 Cal3DExp 进行 


和 动画 文件 (.caf)， 在 导出 上 述 数 据 文件 
配置 文件 (.cfg〉 记录 骨骼 动画 信息 ， 供 
图 4 中 ， 从 左 到 右 依次 为 3DMAX 中 建立 的 原 


型 、 平 滑 后 的 虚拟 手 网 格 模型 和 最 后 进行 纹理 
文中 


蒙 皮 之 后 的 虚拟 手 模型 。 
型 其 几何 真实 感 强 。 


从 图 4 可 看 出 ， 


骨骼 对 蒙 皮 的 影响 权重 ， 根 据 定义 的 手势 动作 进行 手势 骨骼 动 
骨骼 动画 数 : 
依次 导出 骨骼 文件 (.csf)、 网 格 文件 (.cmf)、 纹 理 
后 ， 建 立 动作 库 文 本 
OSG 环境 加 载 调用 。 


居 的 转换 ， 
文件 〈.xrf) 


始 虚拟 手 网 格 模 
贴图 且 绑 定 骨骼 
构建 的 虚拟 手 模 


图 4 “虚拟 手 模 型 


3 ”虚拟 手 交 互 行为 算法 实现 


3.1 位 置 匹配 过 程 的 实现 
位 置 匹配 过 程 通过 调整 虚拟 手 位 置 与 方向 ， 
与 虚拟 物体 的 姿态 轴 完 成 匹配 ， 使 虚拟 手 处 于 


物体 的 位 置 ，Gh -> G 也 
手 抓 取 螺丝 的 过 程 为 例 ， 讨 论 位 置 匹配 过 程 的 
于 手指 与 手指 、 


使 其 姿态 轴 能 
能 正确 抓 取 虚拟 


在 此 阶段 完成 。 如 图 5 所 示 ， 以 虚拟 


实现 。 


指 段 与 指 段 之 间 存 在 互相 牵连 的 矩阵 约 


束 关系 , 所 以 一 个 固定 手势 动作 G; 
中 一 指 的 远 指 段 的 方位 信息 体现 出 来 ， 
与 方位 信息 也 可 以 用 五 指 中 其 
ee 
及 与 整个 虚拟 手 的 位 置 与 方位 信息 
的 全 是 生 通风 汪 | 

P.=P,e MAT. 

=P,e MAT, 


的 手 型 信息 


其 中 : MAT。 和 MAT 为 4x4 的 方位 变换 矩阵 ， 


同样 整个 虚 
中 一 指 的 远 指 段 位 置 与 方位 信 ) 


可 以 用 五 指 中 其 
拟 手 的 位 置 


省 


位 置 与 方位 信息 


， 可 以 用 食指 远 指 端 B 
即 满足 下 列 等 式 : 


(1) 


在 虚拟 手 的 骨 


骼 动画 制作 阶段 ， 可 以 利用 3DMAX 提供 的 位 置 与 姿态 信息 计 


算得 到 。 由 于 当前 定义 手势 动作 中 ， 任 何 的 维 


修 操作 都 有 食指 


的 参与 ， 所 以 以 食指 远 指 端 作为 姿态 轴 匹 配 基准 。 


在 XML 文本 中 记录 的 关于 图 4 中 螺丝 的 音 


了 分 信息 如 下 : 


Chinax i 
董 健康 ， 等 : 面向 虚拟 维修 训练 的 自 抓 取 虚 
日 <hotzone> 


《type>3</type> 
《obj_name>SDAC1_right_screwkK/obj_name> 
Systen Elec824_ System</sub-system> 


[Device/ RE _Tight_screw/Elec824_System/SDAC1 
| </prop> 
<id>803</id> 
<notify>false</notify> 
‘/hotzone> 
日 Seiden 
<《type>rotate</type> 
= | center> 
| 《XxX>-393. 891</x> 
《<y>323. 872¢/y> 
《Z>339. 293</2z> 
《</center> 
| 《match_prop>G4</match_prop> 
9 ! <match_axis> 
| xX>0. 00</x. 
<y>0. 00</y> 
《Z>0. 00¢/z> 
《/match_axis> 


对 于 图 5 中 的 抓 取 过 程 ， 螺 丝 为 可 操作 的 
为 3 (视觉 反馈 方式 为 小 手 )， 拾 取 ID 为 803， 


Y 合 祭 期 刊 


_right_screw 


热 区 物体 ， 类 型 
维修 运动 属性 为 


旋转 , 其 初始 位 置 为 (-393.891,323.872,339.293) ,基础 抓 取 手势 


属性 为 捏 , 虚拟 手 与 螺丝 的 匹配 特征 


为 虚拟 手 C, 的 食指 远 指 端 


B 应 与 螺丝 A 处 于 六 入 《 轴 共 线 同 向 。 在 鼠 
出 抓 取 命令 ， 虚 拟 手 将 获取 螺丝 A 


的 位 置 与 方位 信息 ， 


标 拾取 螺丝 后 发 
根据 A 


的 位 置 与 方位 信息 和 匹配 特征 属性 
手 的 食指 远 指 段 B' 应 处 的 位 置 和 方位 信息 ， 


, 可 求 得 处 于 C 状态 的 虚拟 
根据 式 (1) 便 可 


计算 出 虚拟 手 需要 变换 到 的 位 置 与 方位 DD 。 相 


民 据 D' 的 矩阵 信 


息 , 在 虚拟 环境 OSG 中 进行 矩阵 的 平移 与 旋转 运算 ,实现 虚拟 


手 从 刀 到 立 的 位 
置 匹配 过 程 。 


与 方位 变换 ， 完 成 虚拟 手 


图 5 


虚拟 手 抓 取 螺丝 


3.2 ”3.2 虚拟 手 交互 行为 状态 机 模型 


图 6 为 虚拟 手 交互 状态 机 模型 ， 其 初始 状态 为 Gow 。 


手 根据 交互 状态 的 不 同 ， 手势 状态 分 为 三 种 : 


取 虚 拟 物体 前 的 状态 ， 即 手势 动作 库 中 定义 的 释放 手势 ， 在 


与 交互 对 象 的 位 


虚拟 
Go 表示 开始 抓 
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3DMAX 中 该 手势 为 骨骼 动画 


者 通过 键盘 进 和 
其 相对 视角 位 


了 场景 漫游 时 ? 该 


不 变 ，G; 表示 初步 抓 取 状 态 , 其 中 


代表 基础 手势 动作 库 中 除 Go 外 的 其 
该 手势 作为 虚拟 了 
Gase 状态 变换 到 初步 抓 取 状态 G; 的 结束 帧 ,同时 作为 
; G5 表示 状态 G; 对 应 的 最 终 抓 
因为 同一 基础 
圣 和 分 类 的 不 同 有 多 种 最 终 抓 稳 手势 ， 


中 ， 


G; 到 最 终 抓 稳 状 态 G; 的 开 
稳 手势 状态 TGS y 其 中 i=1,2,...,6,， 
手势 可 以 根据 抓 取 对 象 直 # 


他 六 种 手势 ， 


mm 


始 帧 


了 三 本 23 Ws 


j 取 值 范围 


可 以 根据 需要 进行 扩展 ， 在 3DMAX 中 ， 


为 G 到 G5; 变换 的 结束 帧 。 
Ge 一 G 的 转换 条 件 为 鼠标 发 出 拾取 虚拟 物体 的 命令 ， 


Gi 一 上 转换 条 件 为 鼠标 发 出 抓 取 命 令 ; 


Ce 一 G 变换 的 初始 帧 , 在 操作 
手势 一 直 跟 随 视角 和 矩阵， 


保持 
i=1,2,...,6,， 
在 3DMAX 


该 手势 是 作 


Gj 疗 Gi 的 转换 条 件 为 


键盘 R 或 者 r 键 按 下 ， 且 虚拟 物体 处 于 可 以 放置 的 正确 位 置 ， 


G0 


base 转换 条 件 
其 具体 抓 取 虚拟 物体 过 程 为 : 用 户 操作 鼠标 
景 漫游 ， 靠 近 虚 拟 物体 ， 当 


为 键盘 B 或 者 b 键 按 下 。 


和 键盘 进 行 场 
鼠标 触 到 可 用 虚拟 手 操作 的 物体 时 


鼠标 会 变 成 小 手 状 ， 以 提供 视觉 反馈 。 此 时 用 户 在 虚拟 物体 上 


按 下 鼠标 右键 ， 弹 出 右键 菜单 ， 若 用 户 选 择 pick 命令 ， 且 当前 
状态 机 处 于 Gs。， 则 虚拟 手 获取 虚拟 物体 的 姿态 轴 和 矩阵 数值 和 
虚拟 物体 的 基础 抓 取 手势 属性 ; 然后 根据 获取 的 信息 ， 完 成 位 
置 匹配 ， 同 时 调 取 osgcal 动画 ,完成 手势 从 Gc 一 CG 变换 ， 实 
现 初步 抓 取 虚拟 物体 ， 并 标志 虚拟 手 状 态 为 C, 。 若 用 户 继续 按 
下 鼠标 右键 ， 选 取 grasp 命令 ， 且 当前 状态 机 处 于 G; ， 则 调 取 
osgcal 动画 , 完成 手势 从 G; 到 上 变换。 通过 Co 一 一 上 的 


状态 机 转换 ， 实 现 虚 拟 手 对 物体 的 抓 稳 操作 。 


其 抓 取 


过 程 伪 代 码 算法 描述 如 下 : 


算法 1 自 抓 取 虚 拟 手 交互 行为 算法 


输入 : 虚拟 手 参 数 ,手势 动作 库 ,基于 层次 约束 结构 的 A320 外 场 维修 模型 ， 
鼠标 ,键盘 发 出 事件 命令 
输出 : 抓 稳 或 者 释放 物体 ， 完 成 交互 任务 
1: Initialize:State_machine 全 Flag-Gbase 
2: function 1(Grasp_object)// 抓 取 虚 拟 物 体 
3: 证 mouse._right_click_hot-object then/ /鼠标 右键 点 击 热 区 物体 , 弹 
出 右键 菜单 
4: 证 select_pick&&State_machine = Flag_Gbase then// 选 择 拾 
取 , 状 态 机 为 Gbase 


Object_position 全 Get_object_position()// 物 体位 置 


Gesture 全 Get_object_base_gesture()// 物 体 初 步 抓 取 手 势 


Adjust_hand_position(Object-positon)// 位 置 匹 配 


Change_Gbase_to_Gi(Gesture)// 调 取 osgCal 动 画 ,状态 机 转 
到 Gi, 初 步 抓 取 


State_-machine +- Flag_Gi// 标 志 状 态 机 状态 为 Gi 


10: else 
if select_grasp&&zState_machine = Flag_Gi then// 选 择 拾 
取 , 状 态 机 为 Gi 
Gesture 人 Get_object_final_ gesture()// 物 体 抓 稳 手势 

Change_Gi_to_Gij(Gesture)// 调 取 osgCal 动 画 ,状态 机 


转 到 Gij, 抓 稳 


Maintain_stage 全 Get_action_stage()// 维 修 动 作 步 骤 


15: while Maintain_stage not end do// 维 修 未 结束 

16: Hand_action(Maintain_stage)// 调 整 虚拟 手动 作 
17: Maintain_stage 十 十 // 下 一 维修 步 又 

18: end while 

19: State-machine 人 Flag_Gij// 标 志 状 态 机 状态 为 Gjj 
20: end 证 

21: end if 

22: end if 


23: end functionl 


董 健康 ， 等 : 


Mouse_pitch = true 


(2) 
KeyB_dow =true -一 


其 释放 虚拟 物体 的 过 程 为 : 


者 b 键 按 下 ， 则 调 取 osgCal 动画 ， 


转换 ， 实 现 初 步 释 放 虚 拟 物体 。 


图 6 虚拟 手 交 互 


面向 虚拟 维修 训 练 的 自 抓 取 虚 反手 交互 行为 


Mouse_grasp=true -一 
{9D 


KeyR_down = true&& 
Realse place _right=true 


状态 机 模型 


玉 


当前 状态 机 处 于 G6; , 键盘 B 或 
完成 手势 从 Gj 一 Ci 的 状态 
若 当前 状态 机 处 于 G; ， 继 续 按 


下 键盘 R 或 者 T 键 , 则 调 取 osgCal 动画 ,完成 手势 从 G 一 Co 
的 状态 转换 ， 并 调整 虚拟 手 到 漫游 状态 ， 通 过 C 一 Ci 一 Cu 


的 逆向 变换 ， 实 现 完全 释放 物体 。 


其 释放 过 程 的 伪 代 码 算法 描述 如 下 : 


25: function 2(Discharge_object)// 释 放 虚 拟 物体 


26: 证 Keyb_down&&State machine = 


者 B 键 按 下 ,状态 机 为 Gij 


Flag_Gij then// 键 盘 b 或 


27: Gesture -Get_current_gesture()/ /获取 当前 手势 

28: Change_Gij_to_Gi(Gesture)// 调 取 osgCal 动 画 , 状 态 从 Gbase 转 
到 Gi, 初 步 松 开 物 体 

29: State_machine 人 Flag_Gi/ /标志 状态 机 状态 为 Gi 

30: else 

31: 证 Key_rdown&&zState_machine = Flag_Gi then// 键 盘 r 或 


者 R 键 按 下 ,状态 机 为 Gi 


32: Change_Gi to_Gbase()// 调 取 osgCal 动 画 ,状态 机 从 Gi 转 


到 Gbase, 释 放 结 束 


33: State_ machine +— Flag_Gbase/ /标志 状态 机 状态 为 Gbase 

34: Adjust_hand_position(Camera_positon)// 调 整 虚拟 手 位 
置 ,返回 漫游 状态 

35: end 证 

36: end if 


37: end function2 


4 ”实验 结果 与 分 析 


实验 在 实验 室 自主 研发 的 空 
(HDMTD-2) 的 外 场 3D 虚拟 飞机 维 


客 320 飞机 维修 综合 训练 器 
修 环 境 中 进行 。3DMAX 


版 本 为 2013X64， 三 维 引 擎 为 OSG(OpenSceneGraph-3.0)， 
PROE 版 本 为 5.0，cal3d 版 本 为 0.11.0 ，osgcal 版 本 为 0.3.1， 


编程 平台 为 Windows7 X64 下 VS2012。 图 


7 所 示 为 本 文 构 建 的 


虚拟 手 完成 备用 刹车 储 压 器 (2624GM ) 的 补充 油 量 的 部 分 任务 。 
图 7(a) 中 ， 虚 拟 手 跟随 相机 视角 ,在 A320 外 场 3D 维修 仿真 第 


一 场景 中 漫游 ; 图 7(b) 中 , 虚拟 导 


EQUIPMENTBRAKERESERVOIR 。 当 鼠标 触 到 可 进行 交互 操 
变 成 小 手 ， 
鼠标 在 手 摇 棒 上 右 击 ， 


作 的 热 区 物体 手 摇 棒 时 ， 
7(b) 所 示 ; 
令 ， 如 图 7(c) 所 示 ; 虚拟 手 通过 
取 ， 进 行 Ce 一 G 变换， 
鼠标 继续 


鼠标 


页 


右 击 ， 发 出 grasp 命令 , 虚拟 手 进行 6; 一 Cr 变换 ， 志 


FF 进入 第 二 场景 , 靠近 FILLING 


全 
提供 视觉 反馈 ， 如 图 
弹出 右键 菜单 ， 选 择 Pick 命 
位 置 匹 配 与 osgCal 骨骼 动画 调 


稳 手 摇 棒 ， 如 图 7(e) 所 示 ; 图 


者 


完成 初步 抓 稳 操 作 ， 如 图 7(d) 所 示 ; 
7( 有 中 ， 虚 拟 手 根据 获取 的 
维修 操作 。 


手 摇 棒 ， 执 行 


action stage 压 下 
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(b) 鼠 标 拾取 到 热 


面向 虚拟 维修 训练 的 自 抓 取 康 拟 手 交互 行为 


董 健康 ， 等 : 


区 物体 


(0) 鼠标 发 出 pi 


(d 鼠 标 发 出 grasp 命令 (e) 抓 稳 物 体 (有 D 压 下 手 摇 棒 
图 7 虚拟 手 握手 摇 棒 
为 评价 文中 方法 的 有 效 性 ， 引 入 传统 的 MTD 机 务 培训 系 ”而 且 其 与 实 操 的 相似 性 感受 也 有 一 定 提 升 ， 总 体 的 训练 效果 较 
统 进行 了 对 比 实验 。 实验 受 试 者 为 正在 进行 CCAR147 (民用 航 ”传统 VA 有 较 大 的 提高 。 
空 器 维修 培训 机 构 合格 审定 规定 ) 技能 培训 的 大 四 学 生 ， 他 们 5 ”结束 语 
a We a 悟 木 ] 
对 飞机 维修 实 操 过 程 都 具有 一 定 认 知 ,在 大 二 阶段 都 有 在 MTD 
上 进行 理论 学 习 和 实践 培训 的 课程 。 学 生 共 40 名 ， 分 成 A、B 让 受训 者 认 知 具体 维修 动作 对 于 提高 实践 能 力 具 有 必要 性 ， 
两 组 , 每 组 20 人 。A、B 两 组 交 蔡 在 传统 VA 和 文中 改进 的 VA ”而 当前 的 MTD 机 务 培训 系统 缺少 这 一 功能 ， 本 文 在 不 增加 外 
中 完成 同样 的 虚拟 维修 训练 项 目 ， 两 组 使 用 的 电脑 配置 一 致 。 刷 设 备 和 操作 负荷 的 前 提 下 ， 对 这 一 功能 进行 了 应 用 开发 。 经 
为 增加 对 比 实验 的 可 信和 度 ， 评 价 分 为 客观 指标 〈 表 1) 和 主观 。 实验 证 明 ， 文 中 提出 的 方法 能 较 好 地 向 受训 者 展示 具体 的 维修 
评价 ( 表 2) 两 部 分 。 对 于 主观 评价 部 分 , 在 对 比 实验 进行 之 前 操作 ， 相 对 于 传统 的 VA 系统 ， 其 对 虚拟 维修 训练 具有 更 好 可 
除了 对 受 试 者 进行 系统 操作 培训 外 ， 不 说 明 实验 目的 ， 实 验 结 ”用 性 。 同 时 由 于 文中 构建 的 虚拟 手 其 手掌 与 指 段 部 分 依旧 是 刚 
束 后 填写 体验 调查 问卷 ， 问 卷 指标 内 容 如 表 2 所 示 ， 每 个 指标 体 模型 ， 尚 无 法 实现 虚拟 手 皮肤 与 物体 的 紧密 愤 帖 ， 所 以 严格 
满分 10 分 。 意义 上 的 抓 稳 还 需 进 一 步 研 究 与 提高 ， 此 外 由 于 当前 虚拟 手动 
表 1 两 种 VA 客观 指标 结果 作 库 中 骨骼 动画 数量 有 限 ， 其 维修 操作 演示 还 较为 生硬 ， 后 期 
ee 可 通过 扩展 虚拟 手动 作 库 ， 对 维修 动作 进行 细 化 来 改善 这 一 状 
对 象 
交互 设备 。 实时 帧 数 均值 /fops ”训练 时 间 均 值 /min 况 。 
传统 VA 鼠标、 键盘 54 26.8 参考 文献 : 
改进 VA 鼠标、 键盘 54 27.2 
[1] Liao J, Zhao G, Tan D, et al. Real-time virtual hand controlling using 
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